"""
演示通过PySpark代码加载数据，即数据输入
"""

from pyspark import SparkConf, SparkContext
import os

# 创建SparkConf对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
# 基于SparkConf对象创建SparkContext对象
sc = SparkContext(conf=conf)

# # 通过parallelize方法将Python对象加载到Spark内，成为RDD对象
# rdd1 = sc.parallelize([1, 2, 3, 4, 5, 1, 2, 3])
# rdd2 = sc.parallelize((1, 2, 3, 4, 5, 1, 2, 3))
# rdd3 = sc.parallelize("abcdefgabc")
# rdd4 = sc.parallelize({1, 2, 3, 4, 5, 1, 2, 3})
# rdd5 = sc.parallelize({"key1": "value1", "ke2": "value2", "key1": "value3"})
#
# # 如果要查看rdd里面有什么内容，需要用collect()方法
# print(rdd1.collect())
# print(rdd2.collect())
# print(rdd3.collect())
# print(rdd4.collect())
# print(rdd5.collect())

# 通过textFile方法，读取文件数据加载到Spark内，成为RDD对象
rdd6 = sc.textFile(f"{os.getcwd()}/hello.txt")
print(rdd6.collect())

# 停止SparkContent对象的运行（停止PySpark程序）
sc.stop()
